Не так давно мы писали о том, что компания VMware выпустила бета-версию своего основного руководства по обеспечению информационной безопасности виртуальной инфраструктуры vSphere 6.0 Hardening Guide. На днях же вышла финальная версия этого документа. Надо отметить, что документ весьма сильно поменялся по структуре и содержанию:

Согласно записи в блоге VMware, в данной версии руководства были сделаны следующие позитивные изменения:

• Сделан упор на автоматизацию воплощения рекомендаций через API, чтобы доставить меньше хлопот по ручному конфигурированию настроек. Приводятся конкретные команды PowerCLI и vCLI для исследования конфигураций и задания необходимых параметров.
• В качестве рекомендуемого значения добавлен параметр "site-specific", что означает, что конкретная имплементация данной настройки зависит от особенностей инфраструктуры пользователя.
• Появилась колонка с разносторонним обсуждением проблемы потенциальной уязвимости (с учетом предыдущего пункта).
• Дается больше информации о потенциальных рисках - на что влияет данная настройка в итоге.

Кстати, вот полный список руководящих документов по обеспечению безопасности других продуктов компании VMware и прошлых версий VMware vSphere:

• vSphere 4.0
• vSphere 4.1
• vSphere 5.0

• vSphere 5.1 Hardening Guide
• vSphere 5.1 Hardening Guide Change Log

• vSphere 5.5 Hardening Guide
• vSphere 5.5 Hardening Guide Change Log

• vSphere 5.5 Update 1 Hardening Guide
• vSphere 5.5 Update 1 Hardening Guide Change Log

• vSphere 6.0 - Moved to Documentation from Hardening Guide
• vSphere 6.0 Hardening Guide

• vRealize Configuration Manager PDF
• vRealize Automation (последний документ внизу)
• vCloud Director 1.5

Ну и надо обязательно добавить, что VMware Configuration Manager теперь полностью поддерживает конфигурации из руководства vSphere 6 Hardening Guide. Более подробно об этом написано в блоге VMware Security.

В нескольких заметках мы освещали новости о продукте VMware Log Insight, который предназначен для автоматизированного управления файлами журналов, а также сбора различных данных, их анализа и поиска.

Многие администраторы VMware vSphere знают, что такой продукт есть, на мало кто знает, зачем он реально нужен. Ну да, централизованно собирает логи, есть аналитика, но когда он может пригодиться? Поэтому приведем тут пример решения конкретной административной задачи с помощью VMware Log Insight, которую описал у себя в блоге Iwan Rahabok.

Итак, каждый из вас, я надеюсь, знает, что снапшоты виртуальных машин - это плохо (назовем их "snapshits"). Поэтому в большой инфраструктуре часто оказывается необходимым найти тех, кто снапшоты создает, а если он потом их удалил, то когда это было сделано.

Для начала создадим и удалим снапшот виртуальной машины. Это отобразится в списке последних задач vSphere Web Client:

Откроем консоль VMware Log Insight и перейдем в представление "Virtual Machine – Snapshots", как показано ниже:

Видим, что оба события были пойманы. Переключимся в представление Interactive Analytics (в верхнем меню):

Тут мы видим оба события на таймлайне. Расширим диапазон до 7 дней и добавим фильтр по строчкам "vmw_esxi_snapshot_operation". Видим записи лога о снапшотах:

Ну и переключимся на вкладку Field Table, где выберем параметр vc_username в качестве фильтра (если пользователь заходил из vCenter):

Ну и видим тут, что всеми этими делами занимался пользователь obi-wan.

На самом деле, с помощью Log Insight можно вытягивать очень много чего полезного, например, можно было бы составить фильтр так, чтобы показать виртуальные машины только по указанному шаблону именования.

Это гостевой пост компании ИТ-ГРАД, предоставляющей услуги аренды виртульных машин в облаке.

Контейнерная виртуализация и специализированные облака — тренд нашего времени. Возможность выпускать приложение в унифицированном формате под любую платформу привлекательна сама по себе. А если добавить сюда открытость, поддержку всех основных систем виртуализации и фокус на разработчиков ПО, то получаем любопытное решение для поставщиков программного обеспечения и их клиентов. В этой статье поговорим о платформенном облаке Pivotal CF и поищем ответ на вопрос, зачем оно нужно.

Компания Pivotal — обособленное подразделение EMC, кoторое разрабатывает продукты для виртуализации и облачных вычислений. Наиболее известным из них можно назвать Pivotal Cloud Foundry, который предназначен для упрощения жизни разработчикам ПО. Pivotal предлагает некую абстракцию для всем привычной IaaS-виртуализации, когда ПО выпускается в виде своеобразного «строительного кубика» без привязки к платформе виртуализации. Напоминает контейнеры, правда? По сути идея очень близка, но имеет свои особенности.

Теперь любой разработчик может запустить свое приложение в среде Cloud Foundry, выбрав конкретное облако по желанию: vSphere, AWS или OpenStack. Подход сулит серьезную экономию времени и сил на предоставлении доступа заказчикам к новым разработкам. А возможность работы с облаками нескольких типов еще больше повышают гибкость и решения.

Платформенное облако

Pivotal CF — платформа для облачных систем, которая выступает в качестве некоего слоя абстракции для виртуальной среды (как виртуализация для виртуализации). Суть в том, чтобы создать унифицированную площадку, на которой можно запускать любые приложения без привязки к конкретному облаку или гипервизору. То есть строительным блоком служит не виртуальная машина, а контейнер приложения. На контейнерах подробнее остановимся чуть позже, а пока разберемся, чем CF лучше привычного облака PaaS.

Platform as a Service (PaaS) — модель предоставления облачных вычислений, при которой потребитель получает доступ к использованию информационно-технологических платформ: операционных систем, систем управления базами данных, связующему программному обеспечению, средствам разработки и тестирования, размещённым у облачного провайдера.

Фактически Pivotal предлагает прийти к любому облачному провайдеру с собственным облаком-платформой, которое ставится поверх всех популярных IaaS. Зачем нужно так усложнять и почему бы просто не создать десяток VM на той же vSphere? Все очень просто: а вдруг вы хотите работать с Amazon, а не VMware? Или нужно распределенное по миру решение, а услуги облачных провайдеров в разных странах отличаются по платформе или цене за нее. В конце концов, можно построить огромное распределенное облако сразу из нескольких типов IaaS и вообще ничем себя не стеснять...[кликните, чтобы читать дальше]

Как вы знаете, мы уже много лет сотрудничаем с компанией Код Безопасности, которая выпускает лучший продукт для защиты виртуальных инфраструктур - vGate. Средство комплексного обеспечения безопасности виртуальной среды vGate позволяет защитить инфраструктуру VMware vSphere, а также инфраструктуру предприятия на базе гипервизора Microsoft Hyper-V.

Сертифицированные продукты семейства vGate обеспечивают безопасность виртуальной инфраструктуры, в которой ведется обработка персональных данных, конфиденциальной информации и сведений, относящихся к гостайне. Широкие функциональные возможности vGate предоставляют службе безопасности предприятия удобные инструменты контроля и противодействия злоупотреблениям в виртуальной среде с учетом особенностей ее использования.

vGate позволяет выполнить необходимые технические меры защиты информации и способствует приведению виртуальной инфраструктуры в соответствие нормам российского законодательства, отраслевым стандартам и лучшим мировым практикам.

Основные возможности vGate:

• Усиленная аутентификация администраторов виртуальной инфраструктуры и администраторов информационной безопасности
• Защита средств управления виртуальной инфраструктурой от несанкционированного доступа (НСД)
• Мандатное управление доступом
• Защита серверов ESXi и Hyper-V от НСД
• Поддержка распределенных инфраструктур
• Контроль целостности конфигурации виртуальных машин и доверенная загрузка
• Контроль доступа администраторов ВИ к файлам виртуальных машин
• Разграничение доступа серверов ESXi и Hyper-V на запуск виртуальных машин
• Контроль целостности и доверенная загрузка хост-серверов виртуализации
• Контроль целостности и защита от НСД компонентов СЗИ
• Регистрация событий, связанных с информационной безопасностью
• Централизованное управление и мониторинг

В ближайшее время мы расскажем о новой версии продукта vGate для Hyper-V версии 2.8, где появилось множество новых и полезных для адимнистраторов возможностей. Не отключайтесь!

Рано или поздно любой администратор VMware vSphere сталкивается с проблемой разросшихся тонких дисков виртуальных машин, которые увеличиваются неизбежно по своей природе (при удалении файлов в гостевой ОС блоки не обнуляются и не отдаются обратно на хранилище с уменьшением VMDK).

Многие из вас знают следующий способ уменьшения тонкого диска (Thin disk): надо сначала почистить блоки утилитой sdelete, а потом сделать миграцию машины средствами Storage vMotion на другое хранилище. Тогда thin-диски и уменьшатся до реального размера данных в нем.

Но, во-первых, SVMotion есть не у всех (так как в начальные издания vSphere эта технология не входит), а, во-вторых, есть более простой способ. Итак:

1. Давайте сначала "раздуем" исходный тонкий диск с помощью утилиты sdelete.

Было (18,74 ГБ):

Запускаем в гостевой ОС Windows утилиту:

sdelete -c

Стало (41,8 ГБ):

2. Очищаем удаленные блоки в гостевой ОС, заполняя их нулями.

Для этого запустим команду:

sdelete -z

3. Уменьшаем размер виртуального диска с помощью утилиты vmkfstools.

Делается это с помощью ключа -K (можно также использовать ключ --punchzero) в консоли сервера ESXi:

vmkfstools -K Test.vmdk

Вот и все, смотрим на получившийся размер:

Надо отметить, что утилита vmkfstools, запущенная с ключом -K, еще и может преобразовать обычный диск (zeroedthick или eagerzeroedthick) в thin disk с вычищением нулевых блоков и, соответственно, уменьшением размера vmdk.

Совсем недавно компания VMware выпустила полезный документ "VMware Horizon View 6.0.2 and VMware Virtual SAN 6.0 Hybrid", описывающий эталонную архитектуру инфраструктуры виртуальных ПК Horizon View 6, которые хранятся в кластере отказоустойчивости VMware Virtual SAN 6.0, построенном на базе хостов VMware ESXi.

В документе рассмотрено тестирование производительности 12-узлового кластера Virtual SAN на базе серверов Supermicro в рамках следующей логической архитектуры:

Подробная конфигурация хостов:

В целом инфраструктура тестирования выглядела так:

Для тестов использовалось средство Login VSI (о нем мы уже много писали), которое поставляется вместе с методологией тестирования:

Сводные результаты тестов:

Для получения более подробной информации о результатах по каждому тесту, используемых сценариях и конфигурациях обращайтесь к документу. Все 38 страниц полны картинок, графиков и табличек с цифрами - док составлен очень по делу. Для тех, кто планирует VDI на базе Virtual SAN очень полезный референс, как в плане архитектуры, так и в плане производительности.

В середине весны компания Symantec выпустила обновление своего продукта для резервного копирования данных физических и виртуальных машин Symantec Backup Exec 15. Этот продукт стал одним из первых, кто поддержал все новые фичи VMware vSphere 6, такие как Virtual Volumes (VVols) и Virtual SAN 6.0. Теперь это действительно удобное комплексное решение как для резервного копирования ВМ в гетерогенной виртуальной среде (VMware vSphere и Microsoft Hyper-V), так и для бэкапа данных физической инфраструктуры с корпоративными приложениями, такими как Microsoft SQL Server или Sharepoint.

Мы много писали про решение для создание отказоустойчивых хранилищ на базе локальных дисков VMware Virtual SAN 6.0 (еще вот тут и тут). Продукт этот достаточно дорогой и подходит, в основном, для средних/больших компаний или очень крутых маленьких компаний. Однако у вас есть возможность протестировать его в течение 6 месяцев абсолютно бесплатно, став как бы членом VMware User Group:

Заполнив форму из трех полей, вы попадете на страницу технической информации о продукте, а через некоторое время получите по почте лицензию VMware Virtual SAN на 6 месяцев на 6 процессоров для трех хост-серверов VMware ESXi, которые будут узлами кластера хранения.

Кстати, все нужные документы про VMware Virtual SAN:

• Virtual SAN Technical Whitepaper
• Virtual SAN Design and Sizing Guide
• Virtual SAN Hardware Guide
• Virtual SAN Network Design Guide
• Virtual SAN Performance and Scalability Whitepaper
• Virtual SAN Health Check Plugin Guide
• Virtual SAN Monitoring and Reference Guide

Кроме того, полезным для начала будет посчитать на калькуляторе стоимость владения инфраструктурой Virtual SAN:

Понятно, что это все спорные цифры и методики, но потыкать все равно интересно.

Многие из вас знают, что у VMware есть виртуальный модуль vCenter Server Appliance (vCSA), который можно использовать в качестве виртуального управляющего сервера для инфраструктуры vSphere. Для многих это просто "черный ящик", к которому можно подключиться с помощью vSphere Client или Web Client и рулить хостами и виртуальными машинами.

Давайте немного заглянем внутрь. Если мы откроем консоль vCSA, то увидим нечто подобное консоли VMware ESXi:

Не забывайте, что это не только сервер vCenter, но еще и Linux, в который можно залезть. Сделать это можно в локальной консоли, нажав комбинацию клавиш Alt+F1, но лучше нажать <F2> и включить доступ к vCSA по SSH. Также это можно сделать и в vSphere Web Client в следующем разделе:

System Configuration / Nodes / Manage / Settings / Access

Далее можно будет подключиться к хосту vCSA по SSH под аккаунтом root и смотреть, что там внутри:

Это оболочка виртуального модуля vCSA. Чтобы посмотреть API-функции, которые можно использовать для настройки модуля, введите команду:

help api list

Интерфейс vCSA содержит несколько стандартных плагинов (посмотреть их можно командой help pi list), реализующих стандартные средства, такие как ps, top или vimtop (это своего рода esxtop, но только для vCSA). Запустим, кстати, vimtop:

Здесь наглядно видно, какой сервис vCenter или самой ОС отъедает ресурсы. Более подробно об этом средстве написано вот тут.

Чтобы включить доступ к bash-консоли линукса нужно написать:

shell.set --enabled true

Далее просто запустите ее командой shell.

Кстати, тут есть хинт - по умолчанию для bash-консоли установлен таймаут 1 час, поэтому оттуда вас будет постоянно выбрасывать. Увеличить его можно следующей командой (отключить нельзя, поэтому указываем максимальное время в секундах на 68 лет - только учтите, что оно сохраняется после перезагрузки):

shell.set --enabled true --timeout 2147483647

Чтобы закинуть на vCSA какие-нибудь скрипты или другие файлы, воспользуемся утилитой WinSCP. Но при попытке соединения мы получим вот такой отлуп:

Все логично - WinSCP ожидает стандартный shell линукса, а не то, что показано на первом скрине. Поэтому надо сделать так: в настройках Win SCP выставить протокол SFTP (вместо SCP), а в Advanced Settings ввести "shell /usr/lib64/ssh/sftp-server" (без кавычек) для использования SFTP-сервера.

Также можно временно заменить дефолтный шел модуля на bash с помощью команды:

chsh -s /bin/bash

И потом можно просто соединяться через WinSCP в обычном режиме. Чтобы вернуть шел модуля, напечатайте:

chsh -s /bin/appliancesh

Также обратимся к настройке устаревания и сложности паролей. Многих эта тема волнует и бесит, когда заставляют создавать пароли, не соответствующие чьим-то мудацким правилам. Ну и, конечно же, по дефолту включено устаревание пароля в 90 дней.

Отключить все это можно через Web Client в разделе Administration / Single Sign-On / Configuration / Policies / Password Policy (не забудьте зайти под SSO админом):

Для отключения устаревания установите значение 0. Также это можно сделать командой:

chage -M -1 root

Для изменения политики сложности пароля вам нужно отредактировать следующий файл:

/etc/pam.d/common-password

Кстати, если вы все же решите оставить устаревание пароля, то с помощью следующей команды можно настроить отсылку предупреждения об устаревании пароля на электронную почту:

user.set --username root --email yourmail@somewhere.org

Это гостевой пост компании ИТ-ГРАД. В нашу эпоху бурного роста объемов информации и «хотелок» бизнеса подход к сохранности данных тоже требует перемен. Вспомните, как раньше небольшие и средние компании решали вопрос с временной недоступностью своих сервисов. Если кратко — то никак. Полагались на авось и резервные копии. Сейчас же рост популярности виртуализации и облачных вычислений фактически уравнял в возможностях компании с любыми бюджетами.

Посмотрим, какие есть варианты организации катастрофоустойчивого решения с использованием облаков.

В новой версии VMware vSphere 6 для хостов ESXi было сделано следующее нововведение в плане безопасности - теперь после 10 неудачных попыток входа наступает блокировка учетной записи (account lockout), которая длится 2 минуты.

Этот эффект наблюдается теперь при логине через SSH, а также при доступе через vSphere Client (ну и в целом через vSphere Web Services SDK). При локальном доступе через DCUI (напрямую из консоли) такого нет.

Сделано это понятно зачем - чтобы никто не перебирал пароли рута брутфорсом.

Отрегулировать настройки блокировки можно в следующих параметрах Advanced Options хоста ESXi:

• Security.AccountLockFailures - максимальное число попыток входа, после которого аккаунт блокируется. Если поставить 0, то функция локаута будет отключена.

• Security.AccountUnlockTime - число секунд, на которое блокируется аккаунт.

Ну и напомню, что мы также писали о том, как установить таймаут сессии по SSH или ESXi Shell, а также таймаут сессии vSphere Web Client.

Многие из вас знакомы с продуктом VMware Site Recovery Manager, который позволяет построить катастрофоустойчивую виртуальную инфраструктуру за счет репликации виртуальных машин на хосты резервной площадки, помещения или стойки. Как известно, VMware SRM может использовать два типа репликации:

• Array Based Replication - репликация уровня массива, котора требует наличия соответствующего типа дискового массива на основной и резервной площадке, канала репликации, а также, собственно, программного продукта, который реализует эту репликацию. Как правило, данный тип представляет собой синхронную репликацию с возможностью быстрого переключения на резервную инфраструктуру в случае сбоя без потери данных.
• vSphere Replication - репликация уровня массива, которая не требует ничего кроме сетевого соединения между площадками, но она происходит в асинхронном режиме, а значит возможна потеря данных в случае сбоя.

Давайте попробуем рассмотреть особенность обоих методов репликации в таблице:

Также при использовании репликации уровня дискового массива рекомендуется прочитать документацию к соответствующему компоненту SRA (storage replication adapter).

Какое-то время назад мы писали о том, что компания VMware выпустила документ об обеспечении непрерывной работы сервера управления VMware vSphere - vCenter Server 5.5 Availability Guide. Совсем недавно VMware выпустила обновление этого документа - vCenter Server 6.0 Availability Guide.

Если вкратце, то компоненты vCenter предлагается защищать с помощью следующих решений:

1. Кластер высокой доступности VMware HA и сервис слежения за vCenter - Watchdog.

Сервис HA автоматически перезапускает виртуальную машину с vCenter отказавшего сервера на другом хосте кластера, а сервис Watchdog (он есть как на обычном vCenter, так и на vCenter Server Appliance) следит за тем, чтобы основная служба vCenter работала и отвечала, и запускает/перезапускает ее в случае сбоя.

2. Защита средствами VMware Fault Tolerance.

Теперь технология VMware FT в VMware vSphere 6.0 позволяет защищать ВМ с несколькими vCPU, поэтому данный способ теперь подходит для обеспечения непрерывной доступности сервисов vCenter и мгновенного восстановления в случае сбоя оборудования основного хоста ESXi.

3. Сторонние утилиты, использующие VMware Application Monitoring API.

Компания VMware предоставляет специализированный API, который могут использовать партнеры для создания решений, защищающих приложения в гостевой ОС, в частности, сервис vCenter. Одно из таких приложений - Symantec ApplicationHA. Оно полностью поддерживает vCenter, имеет специализированного агента и перезапускает нужные службы в случае сбоя или зависания сервиса.

4. Средства кластеризации на уровне гостевой ОС (с кворумным диском).

Это один из древнейших подходов к защите сервисов vCenter. О нем мы писали еще вот тут.

Для организации данного типа защиты потребуется основная и резервная ВМ, которые лучше разместить на разных хостах vCenter. С помощью кластера Windows Server Failover Clustering (WSFC) организуется кворумный диск, общий для виртуальных машин, на котором размещены данные vCenter. В случае сбоя происходит переключение на резервную ВМ, которая продолжает работу с общим диском. Этот метод полностью поддерживается с vCenter 6.0:

Кстати, в документе есть пошаговое руководство по настройке кластера WSFC для кластеризации vCenter 6.0 (не забудьте потом, где его искать).

Ну и в заключение, сводная таблица по функциям и преимуществам приведенных методов:

Далее идет описание средств высокой доступности в Enterprise-инфраструктуре с несколькими серверами vCenter, где компоненты PSC (Platform Services Controller) и vCenter разнесены по разным серверам. Схема с использованием балансировщика:

Обратите внимание, что для PSC отказоустойчивость уже встроена - они реплицируют данные между собой.

Та же схема, но с кластеризованными серверами vCenter средствами технологии WSFC:

Использование географически распределенных датацентров и сервисов vCenter в них в едином домене доступа SSO (Single Sign-On) за счет технологии Enhanced Linked Mode (каждый сайт независим):

То же самое, но со схемой отказоустойчивости на уровне каждой из площадок:

Ну и напоследок 2 дополнительных совета:

1. Используйте Network Teaming для адаптеров vCenter (физических или виртуальных) в режиме отказоустойчивости, подключенные к дублирующим друг друга сетям.

2. Используйте Anti-affinity rules кластера HA/DRS, чтобы основная и резервная машина с vCenter не оказались на одном хосте VMware ESXi.

Да, и не забывайте о резервном копировании и репликации виртуальной машины с vCenter. Сделать это можно либо средствами Veeam Backup and Replication 8, либо с помощью VMware vSphere Replication/VMware vSphere Data Protection.

Компания ИТ-ГРАД, предоставляющая услуги аренды инфраструктуры VMware, делится опытом резервного копирования данных в облако с помощью средства Veeam Cloud Connect. Тема резервного копирования была, есть и будет актуальной во все времена. С каждым годом объем данных, хранящихся как на физических, так и на облачных площадках различных компаний, постоянно увеличивается. Исследование, проведенное аналитической компанией Gartner, показало, что рост объема данных является самой большой проблемой инфраструктуры ЦОДов в крупных организациях...

Компания VMware в своем блоге затронула интересную тему - обновление микрокода для процессоров платформ Intel и AMD в гипервизоре VMware ESXi, входящем в состав vSphere. Суть проблемы тут такова - современные процессоры предоставляют возможность обновления своего микрокода при загрузке, что позволяет исправлять сделанные вендором ошибки или устранять проблемные места. Как правило, обновления микрокода идут вместе с апдейтом BIOS, за которые отвечает вендор процессоров (Intel или AMD), а также вендор платформы (HP, Dell и другие).

Между тем, не все производители платформ делают обновления BIOS своевременно, поэтому чтобы получить апдейт микрокода приходится весьма долго ждать, что может быть критичным если ошибка в текущей версии микрокода весьма серьезная. ESXi имеет свой механизм microcode loader, который позволяет накатить обновления микрокода при загрузке в том случае, если вы получили эти обновления от вендора и знаете, что делаете.

Надо сказать, что в VMware vSphere 6.0 обновления микрокода накатываются только при загрузке и только на очень ранней стадии, так как более поздняя загрузка может поменять данные, уже инициализированные загрузившимся VMkernel.

Сама VMware использует тоже не самые последние обновления микрокода процессоров, так как в целях максимальной безопасности накатываются только самые критичные апдейты, а вендоры платформ просят время на тестирование обновлений.

Есть два способа обновить микрокод процессоров в ESXi - через установку VIB-пакета и через обновление файлов-пакетов микрокода на хранилище ESXi. Если вы заглянете в папку /bootbank, то увидите там такие файлы:

• uc_amd.b00
• uc_intel.b00

Эти файлы и содержат обновления микрокода и идут в VIB-пакете cpu-microcode гипервизора ESXi. Ниже опишем процедуру обновления микрокода для ESXi с помощью обоих методов. Предпочтительный метод - это делать апдейт через VIB-пакет, так как это наиболее безопасно. Также вам потребуется Lunix-машина для манипуляций с микрокодом. Все описанное ниже вы делаете только на свой страх и риск.

1. Скачиваем обновления микрокода.

Можно воспользоваться вот этими ссылками:

• Intel microcode download
• AMD microcode download

Для Intel выполните команду:

tar -zxf microcode-*.tgz

После распаковки вы получите файл microcode.dat. Это файл в ASCII-формате, его надо будет преобразовать в бинарный. У AMD в репозитории есть сразу бинарные файлы (3 штуки, все нужные).

2. Делаем бинарный пакет микрокода.

Создаем следующий python-скрипт и называем его intelBlob.py:

#! /usr/bin/python
# Make a raw binary blob from Intel microcode format.
# Requires Python 2.6 or later (including Python 3)
# Usage: intelBlob.py < microcode.dat microcode.bin

import sys

outf = open(sys.argv[1], "wb")

for line in sys.stdin:
if line[0] == '/':
continue
hvals = line.split(',')
for hval in hvals:
if hval == '\n' or hval == '\r\n':
continue
val = int(hval, 16)
for shift in (0, 8, 16, 24):
outf.write(bytearray([(val >> shift) & 0xff]))

Далее создаем бинарники микрокода. Для Intel:

cat intel/*.dat | ./intelBlob.py uc_intel
gzip uc_intel

Для AMD:

cat amd/*.bin > uc_amd
gzip uc_amd

3. Метод замены файлов с апдейтом микрокода.

Тут все просто. Выполним одну из следующих команд для полученных файлов:

• cp uc_intel.gz /bootbank/uc_intel.b00
• cp uc_amd.gz /bootbank/uc_amd.b00

Далее можно переходить к шагу 5.

4. Метод создания VIB-пакета и его установки.

Тут нужно использовать утилиту VIB Author, которую можно поставить на Linux-машину (на данный момент утилита идет в RPM-формате, оптимизирована под SuSE Enterprise Linux 11 SP2, который и предлагается использовать). Скачайте файл cpu-microcode.xml и самостоятельно внесите в него изменения касающиеся версии микрокода.

Затем делаем VIB-пакет с помощью следующей команды:

vibauthor -c -d cpu-microcode.xml \
-p uc_intel.gz,boot,uc_intel,200 \
-p uc_amd.gz,boot,uc_amd,201

Если в VIB-файл не нужно включать микрокод от одного из вендоров CPU - просто уберите часть команды с "-p".

Далее устанавливаем VIB через esxcli:

esxcli software acceptance set --level=CommunitySupported
esxcli software vib install \
-v file:/vmfs/volumes/datastore1/cpu-microcode-6.0.0-0.test.0.vib

Затем проверьте наличие файлов uc_*.b00, которые вы сделали на шаге 2, в директории /altbootbank.

5. Тестирование.

После перезагрузки хоста ESXi посмотрите в лог /var/log/vmkernel.log на наличие сообщений MicrocodeUpdate. Также можно посмотреть через vish в файлы /hardware/cpu/cpuList/*, в которых где-то в конце будут следующие строчки:

Number of microcode updates:1
Original Revision:0x00000011
Current Revision:0x00000017

Это и означает, что микрокод процессоров у вас обновлен. ESXi обновляет микрокод всех процессоров последовательно. Вы можете проверит это, посмотрев параметр Current Revision.

Также вы можете запретить на хосте любые обновления микрокода, установив опцию microcodeUpdate=FALSE в разделе VMkernel boot. Также по умолчанию запрещено обновление микрокода на более ранние версии (даунгрейд) и на экспериментальные версии. Это можно отключить, используя опцию microcodeUpdateForce=TRUE (однако микрокод большинства процессоров может быть обновлен только при наличии цифровой подписи вендора). Кроме того, чтобы поставить экспериментальный апдейт микрокода, нужно включить опции "debug mode" или "debug interface" в BIOS сервера, после чего полностью перезагрузить его.

Как вы все знаете, недавно вышла платформа виртуализации VMware vSphere 6.0, и мы много писали о ее новых возможностях. На одном из блогов появились полезные таблички, в которых просто и понятно описаны численные и качественные улучшения VMware vSphere 6.0 по сравнению с прошлыми версиями - 5.1 и 5.5. Приведем их тут.

Улучшения гипервизора VMware ESXi:

Улучшения на уровне виртуальных машин:

Улучшения на уровне средства управления VMware vCenter:

Компания VMware анонсировала плагин для мониторинга состояния кластера хранилищ - Virtual SAN 6.0 Health Check Plugin. Напомним, что о возможностях VSAN 6.0 мы писали вот тут.

На самом деле, новый плагин от VMware полезен не только тем, что мониторит состояние компонентов решения во время работы, но и позволяет понять, что вы все развернули и настроили правильным образом, а кластер готов к промышленной эксплуатации. Расскажем о новом плагине на основе описания, которое привел Cormac Hogan.

Плагин состоит из двух компонентов: плагин для vCenter и установочные VIB-пакеты для хостов VMware ESXi. Для vCenter под Windows доступен MSI-установщик плагина, а для vCSA есть соответствующий RPM-пакет. По умолчанию Healthcheck-сервис отключен, когда вы нажмете кнопку "Enable" - на все хосты ESXi установится VIB-пакет агента.

После установки VIB'а, если у вас есть DRS-кластер, хосты будут переходить в Maintenance Mode и перезагружаться, поочередно накатывая обновление. Если DRS-кластера нет, то придется делать это вручную.

После установки агентов, вы будете видеть состояние основных компонентов в разделе Monitor > Virtual SAN:

Важный момент - плагин проверяет совместимость вашего оборудования с требованиями VMware Compatibility Guide к кластеру Virtual SAN, что обычно является головной болью администраторов vSphere. Если vCenter имеет доступ в интернет, то можно напрямую загрузить базу данных HCL, если же нет - ее можно скачать вручную и импортировать.

Прикольная функция - каждая проверка привязана к базе знаний VMware, поэтому если у вас загорелось предупреждение или ошибка, можно нажать кнопку "Ask VMware", и откроется страничка с подробной информацией по теме:

Интересно также то, что Virtual SAN Health Check Plugin ведет себя не только реактивно, реагируя на возникающие ошибки, но и способен выполнять набор проактивных тестов. Например, это может быть полезно, когда нужно проверить кластер хранилищ перед его вводом в промышленную эксплуатацию - проверить состояние виртуальных машин, эффективную ширину канала между узлами и т.п. Ну и, конечно, же полезно посмотреть результаты теста производительности, они будут показаны в колонках IOPS и Latency:

Кстати, можно регулировать время выполнения теста.

Также есть еще одна важная и полезная вещь - поддержка Support Assistant. Если у вас есть открытый Service Request (SR), логи могут быть загружены через Support Assistant и ассоциированы с вашим SR.

Более подробную информацию о Virtual SAN 6.0 Health Check Plugin можно получить в VSAN 6.0 Health Services Plugin guide. Скачать сам плагин можно по этой ссылке.

Компания Veeam Software, недавно выпустившая бесплатное средство Veeam Endpoint Backup Free для резервного копирования данных любых компьютеров, продолжает радовать администраторов своими бесплатными утилитами. На этот раз выпущено бесплатное средство Veeam FastSCP for Microsoft Azure, позволяющее осуществлять копирование между виртуальными машинами в облаке и локальной инфраструктурой (в обе стороны).

Многие из вас помнят утилиту Veeam FastSCP, которая копировала данные между любыми Linux-системами (она теперь часть бесплатного Veeam Backup), теперь есть такое и для облака от Microsoft. Раньше можно было использовать RDP для этой задачи - но у этого протокола есть серьезные проблемы при использовании WAN-соединений, к тому же передача файла ограничена двумя гигабайтами. Veeam не имеет этих ограничений.

Возможности утилиты:

• Безопасная передача файла без необходимости шифрования трафика и создания VPN-соединения.
• Возможность копирования из/в виртуальную машину на Microsoft Azure без необходимости держать окно утилиты открытым до окончания копирования.
• Возможность использования планировщика для задач копирования в ночное время или периодического копирования файлов.
• Интерфейс на основе мастера, который позволяет создать задачи резервного копирования в несколько кликов.

Вы можете установить Veeam FastSCP for Microsoft Azure в следующих ОС:

• Microsoft Windows 7 SP1 or later (32-bit and 64-bit versions)
• Microsoft Windows Server 2008 R2 SP1 or later

Надо отметить, что данное средство от Veeam предназначено только для обмена файлами между Windows-системами и не предназначено для передачи VHD/VHDX-файлов на Azure Blob storage. Более детальную информацию о продукте можно найти в этом посте от Veeam.

Скачать Veeam FastSCP for Microsoft Azure можно после регистрации по этой ссылке.

В рамках лабораторной работы остановимся на инструменте VMware vCloud Connector, с помощью которого можно объединять облака различного формата. Больше лабораторных работ доступно в корпоративном блоге компании ИТ-ГРАД.

Стоит отметить, что VMware vCloud Connector позволяет объединять публичные облака (vCloud Director), а также удаленные и локальные инфраструктуры на базе vSphere, управлять ими как единым целым. С помощью единого пользовательского интерфейса можно подключаться сразу к нескольким облачным площадкам, запускать и останавливать виртуальные машины, проверяя при этом их производительность. А помимо переноса виртуальных станций между облаками, так же можно переносить vApp-ы, шаблоны (Templates) и выполнять множество других действий.

vCloud Connector позволяет организовать комбинацию различных типов связок облачных и локальных инфраструктур. Напимер:

• Связка локальной инфраструктуры vSphere с публичным/ частным облаком vCloud Director;
• Связка локальной инфраструктуры vSphere с удаленной инфраструктурой vSphere;
• Связка vCloud Director с публичной площадкой облачного провайдера VMware vCloud Air;
• Связка двух частных облаков vCloud Director;
• Связка частного и публичного облака vCloud Director.

Сценарий: использование vCloud Connector

Из приведенных выше возможных комбинаций различных типов связок облачных/ локальных инфраструктур посредством vCloud Connector, остановимся более подробно на связке локальной инфраструктуры vSphere компании клиента и публичного облака vCloud Director компании ИТ-ГРАД.

Читать статью далее->>

Некоторое время назад мы писали про обработку гипервизором VMware vSphere таких состояний хранилища ВМ, как APD (All Paths Down) и PDL (Permanent Device Loss). Вкратце: APD - это когда хост-сервер ESXi не может получить доступ к устройству ни по одному из путей, а также устройство не дает кодов ответа на SCSI-команды, а PDL - это когда хост-серверу ESXi удается понять, что устройство не только недоступно по всем имеющимся путям, но и удалено совсем, либо сломалось.

Так вот, в новой версии VMware vSphere 6.0 появился механизм VM Component Protection (VMCP), который позволяет обрабатывать эти ситуации со стороны кластера высокой доступности VMware HA в том случае, если в нем остались другие хосты, имеющие доступ к виртуальной машине, оставшейся без "хост-хозяина".

Для того чтобы это начало работать, нужно на уровне кластера включить настройку "Protect against Storage Connectivity Loss":

Далее посмотрим на настройки механизма Virtual Machine Monitoring, куда входят и настройки VM Component Protection (VMCP):

С ситуацией PDL все понятно - хост больше не имеет доступа к виртуальной машине, и массив знает об этом, то есть вернул серверу ESXi соответствующий статус - в этом случае разумно выключить процесс машины на данном хосте и запустить ВМ на других серверах. Тут выполняется действие, указанное в поле Response for a Datastore with Permanent Device Loss (PDL).

Со статусом же APD все происходит несколько иначе. Поскольку в этом состоянии мы не знаем пропал ли доступ к хранилищу ВМ ненадолго или же навсегда, происходит все следующим образом:

• возникает пауза до 140 секунд, во время которой хост пытается восстановить соединение с хранилищем
• если связь не восстановлена, хост помечает датастор как недоступный по причине APD Timout
• далее VMware HA включает счетчик времени, который длится ровно столько, сколько указано в поле Delay for VM failover for APD (по умолчанию - 3 минуты)
• по истечении этого времени начинается выполнение действия Response for a Datastore with All Paths Down (APD), а само хранилище помечается как утраченное (NO_Connect)

У такого механизма работы есть следующие особенности:

• VMCP не поддерживает датасторы Virtual SAN - они будут просто игнорироваться.
• VMCP не поддерживает Fault Tolerance. Машины, защищенные этой технологией, будут получать перекрывающую настройку не использовать VMCP.
• VMCP не поддерживает хранилища Virtual Volumes.
• VMCP не работает с томами Raw Device Mapping (RDM).

Ну и надо помнить, что VM Component Protection (VMCP), как и многие прочие новые возможности vSphere 6, настраивается только через vSphere Web Client.

Мы уже упоминали компанию opvizor на нашем сайте - она тогда называлась еще Icomasoft. Она время от времени делает утилитки для виртуальной инфраструктуры. Оказалось у нее есть могущая оказаться полезной многим утилита Snapwatcher Enterprise Edition.

Как знают администраторы VMware vSphere, снапшоты виртуальных машин в большой виртуальной инфраструктуре - это просто беда. Они плодятся неаккуратными пользователями и администраторами, создаются пачками в тестовых системах и почему-то иногда не удаляются средствами резервного копирования. Для решения таких проблем и предлагается использовать Snapwatcher:

Что умеет Snapwatcher:

• Отслеживание имеющихся снапшотов ВМ на различных vCenter.
• Отчет о количестве паразитно занятого снапшотами дискового пространства.
• Нахождение некорректных снапшотов (например, после средств бэкапа).
• Удаление ненужных снапшотов централизованно, из одной консоли.
• Починка невалидных снапшотов (очевидно, работает не всегда - но весьма интересная функция).
• Отслеживание истории снапшотов.

Как это работает:

Сам продукт Snapwatcher платный ($200 за лицензию на пользователя), но у него есть триальная версия. А так как в большинстве случаев проблема со снапшотами в виртуальной среде - разовая, то можно скачать Snapwatcher бесплатно и все пофиксить.

Компания StarWind Software, производитель решения #1 в сфере программных хранилищ под виртуализацию, проводит бесплатный вебинар "Make Your Storage Work For You: VAAI and ODX offload up to 30% of disk operations to the SAN".

Этот вебинар продолжает серию технических мероприятий StarWind, в рамках которых подробно рассматриваются довольно интересные глубокие темы. На этот раз речь пойдет об использовании технологий Offloaded Data Transfer (ODX) и APIs for Array Integration (VAAI), которые позволяют передать исполнение до 30% дисковых операций на сторону SAN (дисковый массив или серверы-хранилища), не затрагивая подсистему ввода-вывода хост-серверов Microsoft Hyper-V или VMware ESXi.

Мероприятие пройдет послезавтра, 21 апреля в 21-00 по московскому времени.

РЕГИСТРАЦИЯ.

Компания VMware довольно оперативно выставила на всеобщее обсуждение бета-версию своего основного руководства по обеспечению информационной безопасности виртуальной инфраструктуры vSphere 6.0 Hardening Guide.

В этой Excel-табличке на данный момент общим списком собраны основные рекомендации (подчеркнем, что список неполный, и в релизной версии рекомендаций будет больше). Часть рекомендаций была удалена из руководства или перемещена в документацию - список этих пунктов приведен вот тут.

Основное, что ушло из руководства - это операционные рекомендации, то есть что следует делать правильно во время эксплуатации VMware vSphere. Это переместилось в соответствующие разделы документации по платформе. В итоге, осталась сухая выжимка из необходимых настроек безопасности, которые нужно правильно применять в своей инфраструктуре.

Гайдлайны сгруппированы в профили риска (Risk Profiles) - их всего три штуки (1, 2, 3), и они определяют степень критичности их применения. Уровень 1 - только для высокозащищенных систем, 2 - для окружений с чувствительными данными (например, персональными), 3 - для обычных производственных систем.

Также прибавились префиксы компонентов для рекомендаций:

Было: enable-ad-auth

Стало: ESXi.enable-ad-auth

Кстати, интересное видео о том, как нужно использовать Hardening Guide:

Компания VMware с радостью примет пожелания и замечания к руководству, которые можно оставить вот тут. Релиз финальной версии VMware vSphere 6.0 Hardening Guide ожидается во втором квартале 2015 года.

Вскоре после выхода платформы виртуализации VMware vSphere 6.0 компания VMware выпустила апрельский патч VMware ESXi 6.0 (Build 2615704). Обновление ESXi600-201504001 описано в KB 2111975. В данном билде есть только исправления багов, его статус - Critical.

Какие ошибки были исправлены:

• Выпадение в "розовый экран смерти" при промотке логов хоста через прямое подключение к консоли сервера - DCUI (по комбинации клавиш ALT+F12).
• Stateless-хосты VMware ESXi (бездисковые, загруженные в память) могут упасть при применении профиля из VMware Host Profiles (с ошибкой A specified parameter was not correct: dvsName).
• Производительность виртуальной машины с ОС Windows, для которой включена технология Fault Tolerance, может неожиданно сильно упасть.
• Баг с непредоставлением сервером vCenter лицензии stateless-хосту.
• Когда у вас много виртуальных машин с небольшой памятью (< 128 МБ), в процессе NUMA remapping может выскочить "розовый экран смерти".

Как мы видим, баги в ESXi 6.0 еще есть, и пока некуда торопиться с обновлением с версий 5.x.

Скачать апрельский патч VMware ESXi 6.0 (Build 2615704) можно с VMware Patch Portal, введя номер билда в поиск.

Какое-то время назад мы писали о том, что на сайте проекта VMware Labs доступен пакет VMware Tools для виртуальных серверов VMware ESXi, работающих как виртуальные машины. В версии VMware vSphere 6 этот пакет по умолчанию уже вшит в ESXi 6.0, и ничего ставить дополнительно не нужно:

Это можно также просто проверить с помощью консольной команды:

Как вы знаете, в обновленной версии платформы виртуализации VMware vSphere 6.0 появились не только новые возможности, но и были сделаны существенные улучшения в плане производительности (например, вот).

В компании VMware провели тест, использовав несколько виртуальных машин с базами данных SQL Server, где была OLTP-модель нагрузки (то есть большой поток небольших транзакций). Для стресс-теста БД использовалась утилита DVD Store 2.1. Архитектура тестовой конфигурации:

Сначала на хосте с 4 процессорами (10 ядер в каждом) запустили 8 виртуальных машин с 8 vCPU на борту у каждой, потом же на хосте 4 процессорами и 15 ядер в каждом запустили 8 ВМ с 16 vCPU. По количеству операций в минуту (Operations per minute, OPM) вторая конфигурация показала почти в два раза лучший результат:

Это не совсем "сравнение яблок с яблоками", но если понимать, что хосты по производительности отличаются не в два раза - то результат показателен.

Интересен также эксперимент с режимом Affinity у процессоров для "большой" виртуальной машины. В первом случае машину с 60 vCPU привязали к двум физическим процессорам хоста (15 ядер на процессор, итого 30 ядер, но использовалось 60 логических CPU - так как в каждом физическом ядре два логических).

Во втором же случае дали машине те же 60 vCPU и все оставили по дефолту (то есть позволили планировщику ESXi шедулить исполнение на всех физических ядрах сервера):

Результат, как мы видим, показателен - физические ядра лучше логических. Используйте дефолтные настройки, предоставьте планировщику ESXi самому решать, как исполнять виртуальные машины.

Больше информации об этом тесте можно узнать из документа "Performance Characterization of Microsoft SQL Server on VMware vSphere 6".

Florian Grehl в своем блоге провел интересное исследование размера гипервизора ESXi от версии 3.5, вышедшей 7 лет назад, до ESXi 6.0, вошедшей в состав VMware vSphere 6.0 совсем недавно.

Итак, размеры мажорных версий гипервизора ESXi:

• ESXi 3.5 – 46,01 MB
• ESXi 4.0 – 59,99 MB
• ESXi 4.1 – 85,19 MB
• ESXi 5.0 – 132,75 MB
• ESXi 5.1 – 125,85 MB
• ESXi 5.5 – 151,98 MB
• ESXi 6.0 – 154,90 MB

Как мы видим, за 7 лет размер вырос не катастрофически - всего в три раза. Посмотрите на продукты других вендоров и поймете, что это не так уж и много.

На диаграмме:

Как автор вычислял размер гипервизора? Он сравнил размер следующих пакетов, содержащих в себе компоненты ESXi:

• Пакет "image" в ESXi 3.5
• Пакет "firmware" в ESXi 4.x
• VIB-пакет "esx-base" в ESXi 5.x и 6.x

Табличка размеров гипервизора для всех версий (не только мажорных):

Но почему ISO-образ ESXi 6.0 занимает 344 МБ, а не 155 МБ? Потому что есть еще пакет VMware Tools для различных гостевых ОС (а их поддерживается очень много) плюс драйверы устройств серверов.

Получается вот так:

Или картинкой:

В последнее время мы много пишем о новой версии платформы виртуализации VMware vSphere 6.0, о которой большинство блоггеров писало еще со времени выпуска бета-версии. Как раз по этой причине в сети размещено много статей, относящихся к бете и ее возможностям, что иногда не соответствует параметрам и функционалу релизной версии. Попробуем в этой статье внести определенность в некоторые из этих вещей.

Итак, что есть на самом деле в VMware vSphere 6:

• Первая ошибка была в документе vSphere 6.0 What's New - там было указано, что в кластере может быть до 6000 виртуальных машин. На самом деле их может быть до 8000.

• Если раньше толстым клиентом vSphere Client (C#) можно было соединяться только с хостами ESXi, то в релизной версии можно коннектиться и к vCenter Server. Однако помните, что функции, которые появились, начиная с версии vSphere 5.5, доступны только в тонком клиенте vSphere Web Client. Толстым клиентом можно редактировать функции доступные до Virtual Hardware 8 (например, добавить памяти или диск выключенному vCenrer), а вот Virtual Hardware 9, 10 и 11 - уже доступны только для чтения.

• Fautl Tolerance с несколькими vCPU будет доступна для машин vCenter, но только для некоторых вариантов использования. Информация об этом появится несколько позже.

• Поддерживаемые БД vCenter для Windows включают в себя Microsoft SQL Server 2008 R2, 2012 и 2014, Oracle 11g и 12c, а также встроенную БД vPostgres. БД vPostgres для Windows имеет ограничение 20 хостов и 200 виртуальных машин. При апгрейдах инфраструктур, где была БД SQL Express, будет установлен vPostgres. vCenter Server Appliance (vCSA) поддерживает встроенную БД vPostgres для 1000 хостов и 10,000 виртуальных машин (то есть, на полноценную конфигурацию). Также для vCSA поддерживаются Oracle 11g и 12c, но их поддержка в скором времени будет прекращена (только для vCSA, само собой).

• По поводу кластеров vCenter средствами MSCS - да, Cluster Services поддерживаются для vCenter Server 5.5 U3 и 6.0, в дополнение к кластерам БД на бэкэнде.

• Если для ранних билдов vSphere политику RPO для vSphere Replication можно было понизить до 5 минут, то в релизной версии минимум - 15 минут.

• По поводу нового компонента Platform Services Controller (PSC), который включает в себя модули Single Sign-On (SSO), Licensing и VMware Certificate Authority (VMCA) - его надо выносить на отдельную машину тогда, когда у вас есть несколько решений, использующих SSO, например vSphere и vRealize Suite. В остальных случаях для малых и средних инфраструктур ставьте вместе с vCenter.

• В версии vSphere 6.0 все компоненты vSphere Web Client, Inventory Service, Auto-Deploy, Syslog Collector, Network dump collector и некоторые другие ставятся только на один сервер с vCenter Server. Если вы обновляете инфраструктуру vSphere 5.x на 6.x, то конфигурация компонентов будет собрана со всех серверов, где они установлены, но сами компоненты будут поставлены на один сервер.

Многие из вас уже подумывают об обновлении своей виртуальной инфраструктуры на новую версию платформы VMware vSphere 6 (см. тут о том, стоит ли обновлять). Основное препятствие к обновлению на сегодняшний день - неподдержка средствами резервного копирования новой версии vSphere 6.0 и, в частности: технологии VVols.

Например, компания Veeam, выпускающая продукт номер 1 для резервного копирования виртуальных машин Veeam Backup and Replication, не рекомендует обновляться сейчас и просит подождать до конца апреля, когда будет выпущена версия Veeam Backup & Replication 8.0 Update 2:

Со своей же стороны компания VMware выпустила полезную KB, где перечислены основные моменты по апгрейду компонентов инфраструктуры vSphere 6.0. Поэтому если проблема резервного копирования в ESXi 6.0 вас не пугает - можно стартовать апгрейд, предварительно изучив материалы ниже.

Во-первых, полезная табличка по последовательности обновления компонентов и соответствующая KB:

Во-вторых, надо бы почитать три следующих полезных статьи, так как архитектура сервисов vCenter изменилась (особенно обратите внимание на первую статью):

• List of recommended topologies for vSphere 6.0.x (2108548)
• Unable to find the vCenter Server 6.0 Appliance OVA, OVF, ZIP, or VMDK files on the VMware download page (2110730)
• Upgrading to vCenter Server 6.0 best practices (2109772)

В-третьих, нужно посмотреть статьи о миграции базы данных vCenter:

• Migrating the vCenter Server database from SQL Express to full SQL Server (1028601)
• Upgrading to vCenter Server 6.0 without migrating SQL database to vPostgres (2109321)

В-четвертых, необходимо изучить, как происходит работа с сертификатами в vSphere 6.0:

• Implementing CA signed SSL certificates in vSphere 6.0 (2111219)

В-пятых, посмотрите рекомендации по отдельным продуктам, если они есть в вашей виртуальной инфраструктуре, например:

vCenter Server (Windows):

• Upgrading to Windows vCenter Server 6.0 causes python.exe to fail (2110912)
• Installing or Upgrading to vCenter Server 6.0 fails with the error: Incompatible MSSQL version with vCenter Server 6.0 (2111541)

vCenter Server Appliance:

• Upgrading the vCenter Server Appliance to vSphere 6.0 with embedded Postgres hangs on Starting VMware vCenter Server (2110080)
• Installing or upgrading vCenter Server Appliance to vSphere 6.0 fails with the error: Error while configuring vSphere Auto Deploy Waiter firstboot. (2110025)

vRealize Automation:

• Unable to edit a tenant created in vRealize Automation with the vCenter 5.5 SSO after upgrading from vCenter SSO 5.5 to PSC (Platform Services Controller) 6.0 (Windows-based SSO only) (2109719)
• Reinstalling the VMware vRealize Automation Identity Appliance or vCenter Server SSO makes tenants inaccessible (2081462)

vRealize Operations Manager and vCenter Operations Manager:

• The vSphere Web Client 6.0 displays an internal error after upgrading to vSphere 6.0 in a pre-5.8.5 vRealize Operations Manager environment (2111224)

В-шестых, открываете VMware vSphere 6.0 Upgrade Guide - и начинайте, чего тянуть. Вся официальная документация по VMware vSphere 6 размещена тут.

Ну и помните, что если у вас небольшая инфраструктура, и вам не жалко потерять исторические данные (производительность, логи, скрипты), то лучше переустановить VMware vSphere и сопутствующие продукты заново. Это позволит избежать ошибок, связанных именно с апгрейдом (такое часто встречалось в прошлых версиях).

Удивительно, на факт: средство с забавным названием SexiLog представляет собой довольно мощное средство для визуализации (в реальном времени) и анализа логов в среде VMware vSphere, при этом является абсолютно бесплатным (в отличие от VMware Log Insight).

Продукт выполнен в виде готового виртуального модуля (Virtual Appliance) по принципам архитектуры ELK stack (ElasticSearch, Logstash и Kibana). Приятно, что SexiLog поддерживает также и лучшее средство для резервного копирования виртуальных машин Veeam Backup and Replication (мы писали о нем тут):

На выходе администратор получает набор дэшбордов (они называются SexiBoards), которые отражают текущее состояние инфраструктуры по логам в виде 20 преконфигуренных представлений. Их работающие онлайн демо-версии можно увидеть вот тут. Некоторые из них весьма полезны, например, представление vMotion Downtime покажет, сколько система простаивала при кратковременном переключении работы машины с одного на другой хост ESXi.

Если вам не нравятся дефолтные компоненты модуля, то можно его подкорректировать и собрать самостоятельно, используя вот это руководство. Также есть подробный мануал.

SexiLog получает данные из следующих источников:

• UDP/514 для протокола syslog - используется со стороны VMware ESXi.
• UDP/162 для SNMP - используется как VMware ESXi, так и продуктом Veeam Backup and Replication.
• UDP/1514 для логов vCenter в формате json, которые перенаправляются агентом nxlog.
• UDP/1515 для Windows eventlog, которые перенаправляются агентом nxlog с машины Windows vCenter (можно смотреть на любую Windows-машину).

Интересная картинка о том, что продукт является полностью бесплатным:

Скачать решение SexiLog и почитать о шагах для быстрого старта можно по этой ссылке.